There Is No Free Lunch in RLVR: Every pass@1 Gain Has a pass@k Price
RLVR 无免费午餐:pass@1 提升必付 pass@k 代价
🧭 RLVR 训练中 pass@1 与 pass@k 权衡
用定理证明 RLVR 中 pass@1 增益必然伴随 pass@k 下降,并给出精确权衡边界与诊断方法
📌 工作参考价值(4 点)
- 在电商/搜索/推荐中用 RLVR 微调 LLM 生成式召回、query 推荐或 Agent 策略时,不能只看 top-1 命中或 pass@1:pass@1 显著提升可能以牺牲 pass@k 覆盖率、多样性和长尾生成为代价,必须同时监控 pass@k 或候选多样性指标。
- 论文提供的诊断方法(从 eval log 读 pass@1-pass@k 前沿、order-preserving test、price)可直接迁移到线上 AB:评估生成式推荐/搜索改写模型的 exploration-exploitation 权衡,避免只优化单点指标。
- 熵崩溃结论提醒:RL 微调后生成多样性会塌缩,电商文案、push 消息、搜索 query 生成需要加熵正则或约束,防止生成同质化候选影响后续排序与多样性。
- 多 prompt/多任务联合优化时注意“独家专业化”现象:提升某些 query 模板或类目的生成成功率可能损害另一些,需按 prompt/类目分层监控并设置约束。